华夏银行数据中心灾备体系建设实践

华夏银行按照监管、主管部门对业务连续性的要求，经过几年的努力，截至2014年底，完成了总、分、支一体化的三级灾备体系建设，并通过力求真实、常态化的灾备切换演练，“一键式灾备切换平台”、“灾备私有云”等技术创新，以及业务、技术有效联动机制，形成了具有华夏银行特色的灾备体系架构。

　　2015年，本着“同城双活、异地负载、快速切换、持续运行”的建设原则，华夏银行制定了灾备优化方案，并先后试点实现了基于不同技术架构的“双活”应用系统。

一、华夏银行数据中心灾备建设特点

　　1.总分行灾备一体化，信息系统全覆盖

　　华夏银行总行已完成以北京亦庄为生产中心、西三旗为同城灾备中心，苏州为异地灾备中心的“两地三中心”灾备建设，目前正在实施灾备架构优化，从“大异地”向“多中心并重”的方向持续优化演进。

　　华夏银行总行异地灾备中心于2014年4月投产，按照“全部覆盖、分级建设”的策略实施，实现了支撑全部重要业务的38套系统的应用级灾备及其余全部系统的数据级灾备，应用级灾备系统的恢复时间(RTO)小于1小时，数据保护级别(RPO)小于5分钟;华夏银行总行同城灾备中心于2012年底完成建设，实现了总行19套对客服务的关键系统的应用级灾备和全部系统的数据“零丢失”保护，系统恢复时间小于30分钟，数据保护级别为0。2013年9月华夏银行通过同城灾备切换方案将生产中心切换到了亦庄数据中心，将西三旗变为了同城灾备中心。

　　华夏银行在加强总行集中系统灾备建设的同时，还秉持“全行灾备一盘棋”的理念，于2014年底完成了全部一级分行的同城灾备中心建设，实现了分行“网络双活”的目标;所有支行通过第三条有线线路或3G(4G)无线备份网络接入分行同城灾备中心，实现通信链路级的灾备。

　　同时，依托异地灾备中心私有云，创新实现了对分行所有重要信息系统的“集中式异地灾备”，34家一级分行102套系统共享总行异地灾备中心的2套物理主机、存储和网络资源，当某分行发生灾难时，可立即激活启动相应分行灾备系统及时恢复服务。通过构建总、分、支一体化的全行灾备体系，全行信息系统业务连续性能力显著提升。

　　2.跨多系统平台异地灾备私有云实现资源配置优化

　　异地灾备中心要实现华夏银行全部重要信息系统应用级灾备，如果按照传统的灾备部署模式，设备及机房环境需求大、设备使用率低、部署灵活性较差。

　　为实现降低投入、资源复用、快速部署、切换便捷和统一管理的目标，本着集约化的灾备建设理念，华夏银行创新性地将灾备建设与私有云技术相结合，自主研发建设了跨多系统平台的异地灾备私有云，集中为总分行提供一体化灾备云环境，解决了灾备建设中投入成本高、资源利用率低的难题，并为生产环境私有云奠定了技术基础，基于跨多系统平台异地灾备私有云，实现了总行异地灾备环境、总行准生产环境及分行异地灾备环境资源共享及动态调整。

　　日常情况下异地灾备资源的70%作为准生产测试使用，对外提供准生产测试环境服务;灾备资源的30%作为灾难备份环境使用，作为生产系统的备份。当需要进行灾备切换演练或者生产中心发生灾难需启用异地灾备中心时，通过灾备云平台将准生产环境资源“一键式”释放给灾备环境，使灾备环境相关系统获得100%的资源后对外提供服务。

　　总行灾备环境和准生产环境的资源复用，大幅降低了灾备建设成本，提高了资源利用率，提升了异地灾备技术人员运维支持能力，体现了“平战结合”的灾备建设理念。34家分行共享总行2套异地灾备中心的设备资源建设分行应用级灾备系统，为分行节省了设备投入和维护成本。华夏银行“跨多系统平台的异地灾备私有云建设项目”获得人民银行2014年银行科技发展二等奖。

　　3.多种技术方案实现前置、柜面、网银、客服等系统的“双活”

　　为最大限度地降低突发事件发生的影响和损失，华夏银行在同城高速光纤网络、城域网建设基础上，结合存储数据同步复制、服务器跨中心集群、网络负载均衡等成熟灾备技术，建设物理分隔、管理统一、资源共享的同城双活数据中心。

　　在所有同城灾备系统实现分钟级跨中心快速切换、快速接管服务的基础上，加大应用双活建设力度，通过交易拆分、应用架构优化，在“异构双前置”规避单一技术平台风险的总行前置架构基础上，根据综合前置系统只记录交易流水、对历史数据不敏感的特性，实现了总行前置A系统的同城双中心双活部署，日常两套前置A系统分别处理不同交易，灾难情况下支持交易路由的自动切换;

　　通过智能DNS、流量负载均衡等技术应用创新，实现了全行柜面系统、影像处理系统的应用双活并同时对外提供服务，数据库双活但单边对外提供服务;通过“只读”交易和“读写”交易分类的策略实现了支付密码系统的同城双活，双中心对外提供查询类服务，单中心对外提供其他服务;目前还在按照既定灾备优化方案和实施路径，不断扩大同城双活系统的部署范围。

　　在异地灾备中心，华夏银行优先考虑实现对运营商线路高度依赖的网银系统和客服系统的双中心接入，来降低运营商线路或设备故障对系统运行的影响。网银系统采用广域网负载均衡技术实现双中心互联网接入、Web服务分载，统一接入生产中心APP服务，应急情况下单系统快速切换的方案;客服系统采用双中心接入、自动语音双边负载、应急情况下单系统快速切换的方案。银联、二代支付等其他接入类系统将与第三方充分沟通后确定具体的双中心接入方案。

　　4.一键式切换平台与总分行一体化演练体系切实提升应急处置能力

　　灾备切换是保障灾备架构有效性的关键环节，灾备切换涉及网络、存储、主机及应用，技术环节多，流程复杂，如处置不当极易发生次生风险，严重影响信息系统安全和业务数据完整性。

　　为提升灾备管理效率、降低切换操作风险，提高灾备切换规范化、标准化与自动化水平，华夏银行自主研发了“一键式灾备切换平台”，实现了“两地三中心”生产、灾备、准生产各类环境间切换步骤的全“自动化”处理，并于2014年9月采用此平台完成了异地灾备全部35套系统的实际切换演练，全部切换仅用时47分49秒，在操作人员节省80%的情况下，效率比传统手工操作提升近6倍。

　　华夏银行建立了总分行一体化的应急演练体系，设立应急预案更新机制及统一管理平台。每年年初制定全行全年的应急演练计划，每周进行桌面演练，每月进行技术专项演练，每季度进行技术业务联动、总分行联动和内外部联动的大型综合演练，每季度对应急演练进行分析和总结，从而检验各部门之间、总分行之间的协调沟通、分级处置能力，对应急处置相关制度和各信息系统应急预案进行实际验证，真演实练，切实提升应急处置能力。

二、灾备建设与运维中遇到的主要问题及后续安排

　　1.主要问题

　　在“两地三中心”灾备体系和部分系统双活、多活架构下如何保障数据的一致性和系统的运行效率，如何平衡系统可用性和业务连续性之间的矛盾，如何实现各中心之间的系统快速切换和运维工作无缝衔接是华夏银行在灾备建设与运维中遇到的主要问题。

　　2.后续安排

　　为了最大限度降低突发事件发生的概率、影响和损失，全面提升数据中心运维管理水平，华夏银行将通过不断探索、研究、实践数据中心双活、多活技术，持续完善“同城双活、异地负载、快速切换、持续运行”的多中心灾备架构，打造一体化、标准化、自动化运维管理体系，充分利用多中心软硬件资源，有效降低各类软硬件故障、变更升级以及各类意外灾害对全行信息系统运行的影响，促进全行业务连续性水平的不断提升。具体工作安排如下：

　　一是扩大同城灾备系统覆盖范围，确保重要信息系统全部实现应用级灾备;

　　二是深入探索交易数据同步机制，根据不同应用系统的特点和技术架构选择相应的“双活”方案，逐步扩大双活、多活应用系统的覆盖范围;

　　三是进一步研究多中心运维工作的统筹管理与协同机制，实现运维资源的统一管理、分工协作和统一调度;

　　四是梳理和细化双活、多活和主备多种模式共存环境下不同应急场景的切换步骤，并将其固化到一键式切换平台中，实现快速恢复;

　　五是在现有灾备私有云的基础上，逐步实现生产环境私有云建设，研究跨中心私有云、金融云的应用。

（文章来源：中国金融电脑杂志）

扫码即可手机
阅读转发此文